Posts tagged with #Linear Algebra

通常情况下，当我们用一个矩阵 $A$ 去乘一个向量 $x$ 时，得到的向量 $Ax$ 会改变方向。但是存在一些特殊的向量$x$，它们被 $A$ 乘过之后，方向不改变，只是被拉长、缩短或者反向了： $$ Ax = \lambda x $$ 其中这些还在同一条直线上的向量 $x$ 被称为特征向量，缩放系数 $\lambda$ 被称为特征值。 特征向量的推导方式如下： $$...

对于 2x2 矩阵 $$ A=\begin{bmatrix}a & b\\ c & d\end{bmatrix} $$ 它的行列式为： $$ \det A = ad - bc $$ 行列式具有如下性质： 1. 交换矩阵的任意两行，行列式的值乘以 -1。 2...

- 正交向量 (Orthogonal Vectors)：如果两个向量 $v$ 和 $w$ 正交，那么它们的点积为0： $$ v^Tw=0 $$ - 正交子空间 (Orthogonal Subspaces)：如果子空间 $V$ 和子空间 $W$ 是正交的，则 $V$ 中的**每一个向量都必须垂直于 $W$ 中的每一个向量**。 >...

方程组 $Ax = b$ 的所有解可以表示为下面的结构： $$ x = x_p + x_n $$ 其中： $$ A x_p = b,A x_n = 0 $$...

向量空间的定义如下：一个向量空间是一个由“向量”组成的集合，在这个集合中，我们进行如下运算： 1. 向量加法：空间内的任意两个向量相加，结果仍然在这个空间内。 2...

在前面的线性代数基础中，我们提到了下面的方程： $$ \begin{aligned} x - 2y &= 1\\ 3x + 2y &= 11 \end{aligned} $$ 可以写作向量的线性组合： $$ \begin{aligned} x\begin{bmatrix}1\\[4pt]3\end{bmatrix} +...

在行图像中，每一个方程都代表一个几何图形。以二维空间为例，下面的方程： $$ \begin{aligned} 2x - y &= 0\\ -x + 2y &= 3 \end{aligned} $$ 在行图像的视角可以如下理解： - 第一个方程 $2x - y = 0$ 是 $x$-$y$ 平面上代表一条直线。 - 第二个方程 $-x + 2y = 3$ 是平面上的另一条直线。 -...

伪逆是一个矩阵的广义逆。常规的逆矩阵 $X^{-1}$ 只对可逆的方阵存在。而伪逆 $X^{+}$ 对任何形状的矩阵都存在。 如果一个 $n \times d$ 的矩阵 $X$ 的紧凑 SVD 分解是 $X = UDV^T$，那么它的摩尔-彭若斯伪逆 (Moore-Penrose Pseudoinverse) $X^{+}$ 定义为： $$ X^{T} = VD^{-1}U^T $$...

特征向量的定义如下：给定一个矩阵 $A$，如果有某个向量 $v$ 满足 $Av=\lambda v$，那么 $v$ 就是 $A$ 的特征向量。 特征向量的几何意义如下：它把矩阵 $A$ 的变换转换成了一个伸缩变换 $\lambda$ 下面我们讲解一下如何**从指定的特征向量和特征值，反向构造出一个对称矩阵 $A$**： 首先，我们构造一个特殊的坐标系（Orthonormal...

> 本文章适用于速通SVD分解，因此讲得不是那么详细。 > 生成：Gemini-2. 5-pro， 整理：fyerfyer 奇异值分解（SVD）是一种强大而基础的矩阵分解技术，在数据科学、机器学习和自然语言处理（NLP）等领域有广泛应用。我们可以从三个互补的角度来理解SVD： 1...